Ông là con trai thứ ba của Imagawa Ujichika. Ông được gửi đến một đền thờ khi còn là một cậu bé và được đổi tên là Baigaku Shōhō. Tình hình không còn yên ổn khi anh trai ông, Ujiteru chết đột ngột (có người nói ông bị ngộ độc) năm 1536. Người anh trai cùng cha của ông, Genkō Etan, cố đoạt quyền thừa kế nhưng gia tộc chia thành hai phe. Phe của Yoshimoto cho rằng mẹ của ông là chính thất của Ujichika, nên ông là người thừa kế chính thức. Phe của Genkō Etan cho rằng vì Etan lớn tuổi hơn nên ông mới đúng là người thừa kế. Mẹ của Genkō Etan là thiếp và là người nhà Kushima, nhưng họ bị đánh bại và bị sát hại ở trong sự kiện Hanakura-no-ran (Hanagura-no-ran). Ông đổi tên là Yoshimoto sau sự kiện này và thừa kế quyền điều hành gia tộc. Quan hệ với gia tộc Hōjō xấu đi khi ông kết hôn với con gái Takeda Nobutora (mẹ của Ujizane). Ông đẩy lùi nhà Hōjō, và giành quyền kiểm soát một vùng rộng lớn bao gồm các tỉnh Suruga, Totomi, và Mikawa tỉnh.